Dalam tahun 630, beberapa tahun sebelum Kubah Al-Sakhrah dibina, Umar ibn al-Khattāb dibantu oleh Kaab al-Ahbar dan orang Islam yang lain memulihkan batu-batu asas dan menggali ia keluar daripada debu dan membersihkan kawasan yang telah ditinggalkan untuk beratus tahun sejak dimusnahkan oleh tentera Rom. Ibn Asakir[12] menyatakan yang Saidina Umar Al-Khatab tidak pernah membina apa-apa rumah ibadat untuk orang Islam bersembahyang tetapi memilih untuk mendirikan sebuah masjid di kawasan selatan Masjid Al-Aqsa. Saidina Umar berbuat demikian bagi menjelaskan bahawa kiblat terletak di bahagian selatan, ke arah Kaabah di Mekah dan bahawa orang Islam tidak pernah berbalah dalam menentukan arah kiblat. Kawasan batu asas kekal tidak terbongkar sehinggalah masa khalifah Abdul Malik bin Marwan yang memulakan pembinaan dalam tahun 685, menyiapkannya dalam tahun 691. Sarjana Islam al-Wasiti melaporkan kejadian ini:

Apabila Abdul Malik bin Marwan hendak membina Kubah Al-Sakhrah, baginda datang dari Damsyik ke Baitulmuqaddis. Dia menulis, "Abd al-Malik berkehendakan untuk membina sebuah kubah di atas As-Sakhrah (Batu) untuk melindungi orang Muslim daripada panas dan sejuk, dan hendak membina masjid. Tetapi sebelum dia bermula dia ingin tahu pendapat rakyatnya." Dengan persetujuan mereka, timbalan menulis kembali, "Semoga Allah membenarkan siapnya projek ini, dan moga Allah s.w.t. merestui pembinaan masjid dan kubah ini dan memberi rahmat kepada Abd al-Malik dan para penggantinya." Dia kemudian menghimpunkan tukang-tukang binaan daripada semua wilayah kekuasaannya dan meminta mereka untuk menyediakan deskripsinya dan bentuk perancangan kubah pembinaan dirancangkan.

Baitulmuqaddis ialah tempat suci bagi agama Kristian, Yahudi, dan Islam. Selepas kematian Saidina Ali Abi Talib (khalifah terakhir Khulafa al-Rasyidin), menantu dan sepupu kepada Rasulullah s.a.w., adalah di Baitulmuqaddis pemimpin-pemimpin Arab dan Islam bertemu pada tahun 660 untuk memilih khalifah yang baru. Mu'awiyah, pengasas kerajaan Bani Ummaiyyah telah dipilih sebagai khalifah. Beberapa tahun selepas itu, Khalifah Abdul Malik bin Marwan mengarahkan pembinaan Kubah Al-Sakhrah sebagai simbol perpaduan agama Kristian, Yahudi, dan Islam.